The booming development and huge market of micro-videos bring new e-commerce channels for merchants. Currently, more micro-video publishers prefer to embed relevant ads into their micro-videos, which not only provides them with business income but helps the audiences to discover their interesting products. However, due to the micro-video recording by unprofessional equipment, involving various topics and including multiple modalities, it is challenging to locate the products related to micro-videos efficiently, appropriately, and accurately. We formulate the microvideo-product retrieval task, which is the first attempt to explore the retrieval between the multi-modal and multi-modal instances. A novel approach named Multi-Queue Momentum Contrast (MQMC) network is proposed for bidirectional retrieval, consisting of the uni-modal feature and multi-modal instance representation learning. Moreover, a discriminative selection strategy with a multi-queue is used to distinguish the importance of different negatives based on their categories. We collect two large-scale microvideo-product datasets (MVS and MVS-large) for evaluation and manually construct the hierarchical category ontology, which covers sundry products in daily life. Extensive experiments show that MQMC outperforms the state-of-the-art baselines. Our replication package (including code, dataset, etc.) is publicly available at https://github.com/duyali2000/MQMC.

Image restoration tasks have achieved tremendous performance improvements with the rapid advancement of deep neural networks. However, most prevalent deep learning models perform inference statically, ignoring that different images have varying restoration difficulties and lightly degraded images can be well restored by slimmer subnetworks. To this end, we propose a new solution pipeline dubbed ClassPruning that utilizes networks with different capabilities to process images with varying restoration difficulties. In particular, we use a lightweight classifier to identify the image restoration difficulty, and then the sparse subnetworks with different capabilities can be sampled based on predicted difficulty by performing dynamic N:M fine-grained structured pruning on base restoration networks. We further propose a novel training strategy along with two additional loss terms to stabilize training and improve performance. Experiments demonstrate that ClassPruning can help existing methods save approximately 40% FLOPs while maintaining performance.

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

有两种流行的损失功能用于视觉检索，即三胞胎损失和对比度学习损失，这两者本质上都可以最大程度地减少负对和正对的相似性之间的差异。更具体地说，在现有的检索模型中广泛使用的硬采矿（三重态HN）的三胞胎损失很容易落入训练中的局部最小值。另一方面，广泛用于视觉的预训练中的视觉对比学习损失（VLC）已被证明可以在视觉语言检索上获得显着的性能提高，但通过使用微调的性能来实现。小型数据集上的VLC并不令人满意。本文提出了对视觉语言检索的统一损失相似性优化，为理解现有的损失功能提供了强大的工具。我们的统一损失包括VLC的硬样品挖掘策略，并引入了三胞胎损失使用的边距，以获得更好的相似性分离。结果表明，三重态HN和VLC都是我们统一损失的特殊形式。与三胞胎-HN相比，我们的统一损失具有快速的收敛速度。与VLC相比，我们的统一损失更具歧视性，可以在下游微调任务中更好地概括。图像文本和视频检索基准测试的实验表明，我们的统一损失可以显着提高最新检索模型的性能。

放映摄像头（UDC）为全屏智能手机提供了优雅的解决方案。但是，由于传感器位于显示屏下，UDC捕获的图像遭受了严重的降解。尽管可以通过图像恢复网络解决此问题，但这些网络需要大规模的图像对进行培训。为此，我们提出了一个模块化网络，称为MPGNET，该网络使用生成对抗网络（GAN）框架来模拟UDC成像。具体而言，我们注意到UDC成像降解过程包含亮度衰减，模糊和噪声损坏。因此，我们将每个降解与特征相关的模块化网络建模，并将所有模块化网络级联成型以形成生成器。加上像素的歧视器和受监督的损失，我们可以训练发电机以模拟UDC成像降解过程。此外，我们提出了一个用于UDC图像恢复的Dwformer的变压器式网络。出于实际目的，我们使用深度卷积而不是多头自我注意力来汇总本地空间信息。此外，我们提出了一个新型的渠道注意模块来汇总全局信息，这对于亮度恢复至关重要。我们对UDC基准进行了评估，我们的方法在P-Oled轨道上超过了先前的最新模型和T-Oled轨道上的0.71 dB。

Dimage Dehazing是低级视觉中的一个活跃主题，并且随着深度学习的快速发展，已经提出了许多图像去悬式网络。尽管这些网络的管道效果很好，但改善图像飞行性能的关键机制尚不清楚。因此，我们不针对带有精美模块的飞行网络。相反，我们对流行的U-NET进行了最小的修改，以获得紧凑的飞行网络。具体而言，我们将U-NET中的卷积块与门控机构，使用选择性内核进行融合，并跳过连接，并调用所得的U-NET变体Gunet。结果，由于开销大大减少，Gunet优于多个图像脱掩的数据集上的最新方法。最后，我们通过广泛的消融研究来验证这些关键设计为图像去除网络的性能增益。

3D点云可以灵活地表示连续表面，可用于各种应用；但是，缺乏结构信息使点云识别具有挑战性。最近的边缘感知方法主要使用边缘信息作为描述局部结构以促进学习的额外功能。尽管这些方法表明，将边缘纳入网络设计是有益的，但它们通常缺乏解释性，使用户想知道边缘如何有所帮助。为了阐明这一问题，在这项研究中，我们提出了以可解释方式处理边缘的扩散单元（DU），同时提供了不错的改进。我们的方法可以通过三种方式解释。首先，我们从理论上表明，DU学会了执行任务呈纤维边缘的增强和抑制作用。其次，我们通过实验观察并验证边缘增强和抑制行为。第三，我们从经验上证明，这种行为有助于提高绩效。在具有挑战性的基准上进行的广泛实验验证了DU在可解释性和绩效增长方面的优势。具体而言，我们的方法使用S3DIS使用Shapenet零件和场景分割来实现对象零件分割的最新性能。我们的源代码将在https://github.com/martianxiu/diffusionunit上发布。

深度强化学习在基于激光的碰撞避免有效的情况下取得了巨大的成功，因为激光器可以感觉到准确的深度信息而无需太多冗余数据，这可以在算法从模拟环境迁移到现实世界时保持算法的稳健性。但是，高成本激光设备不仅很难为大型机器人部署，而且还表现出对复杂障碍的鲁棒性，包括不规则的障碍，例如桌子，桌子，椅子和架子，以及复杂的地面和特殊材料。在本文中，我们提出了一个新型的基于单眼相机的复杂障碍避免框架。特别是，我们创新地将捕获的RGB图像转换为伪激光测量，以进行有效的深度强化学习。与在一定高度捕获的传统激光测量相比，仅包含距离附近障碍的一维距离信息，我们提议的伪激光测量融合了捕获的RGB图像的深度和语义信息，这使我们的方法有效地有效障碍。我们还设计了一个功能提取引导模块，以加重输入伪激光测量，并且代理对当前状态具有更合理的关注，这有利于提高障碍避免政策的准确性和效率。

多模式学习，尤其是大规模的多模式预训练，在过去的几年中已经迅速发展，并带来了人工智能（AI）的最大进步。尽管具有有效性，但了解多模式预训练模型的潜在机制仍然是一个巨大的挑战。揭示此类模型的解释性可能会使AI领域中新型学习范式的突破。为此，鉴于人脑的多模式性质，我们建议借助非侵入性脑成像技术（例如功能磁共振成像（fMRI））探索多模式学习模型的解释性。具体而言，我们首先提出了1500万个图像文本对预训练的新设计的多模式基础模型，该模型在各种认知下游任务中显示出强烈的多模式理解和概括能力。此外，从神经编码的角度来看（基于我们的基础模型），我们发现，与单峰相比，经过多模式训练的视觉和舌编码器都更像脑状。特别是，我们确定了许多大脑区域，其中多模式训练的编码器表现出更好的神经编码性能。这与现有有关探索大脑多感觉整合的研究的发现是一致的。因此，我们认为，多模式基础模型是神经科学家研究人脑中多模式信号处理机制的更合适的工具。我们的发现还证明了多模式基础模型作为理想的计算模拟器的潜力，以促进脑和大脑的AI研究。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。